John Glubb meletak jawatan sebagai pegawai bertauliah Tentera British untuk berhijrah ke Iraq. Setelah berkhidmat sebagai Merinyu Pentadbiran dari tahun 1926 hingga 1930 di Iraq, John Glubb ke Jordan untuk menyertai pasukan Legion Arab dalam tahun 1930. John Glubb mengambil keputusan untuk tinggal bersama-sama orang Badawi untuk mempelajari bahasa dan budaya mereka.

Dalam tahun 1931, dia menubuhkan Pasukan Peronda Padang Pasir (Desert Patrol) yang terdiri sepenuhnya oleh orang-orang Badawi (Bedouin) yang beliau gunakan untuk menghentikan serangan-serangan yang berleluasa di bahagian selatan Iraq. Dalam masa beberapa tahun sahaja, John Glubb berjaya memujuk orang-orang Badawi untuk tidak lagi menyerang suku kaum yang lain yang berjiran dengan mereka. Dalam tahun 1939, John Glubb mengambil alih kepimpinan Legion Arab. Dia dikenali sebagai Glubb Pasha di kalangan askar-askarnya.

John Glubb juga menjadi sahabat Raja Abdullah, Raja Jordan. John Glubb melatih Legion Arab sehingga menjadi pasukan tentera terbaik di bumi Arab. On Pada 15 Mei 1948, John Glubb mengetuai pasukan Legion Arab untuk menduduki Tebing Barat. John Glubb diberikan kepercayaan menjaga keselamatan di Tebing Barat berikutan perjanjian gencatan senjata tahun 1949.

Beliau terus di dalam jawatan tersebut sehingga diberhentikan oleh Raja Hussein, Raja Jordan dalam tahun 1956. Raja Hussein memberhentikan John Glubb kerana mahu menjauhkan diri daripada pengaruh British dan juga untuk menghentikan dakwaan dan fitnah nasionalis Arab bahawa John Glubb adalah raja di belakang tabir kerajaan Jordan.

Perbezaan pendapat antara John Glubb dan Raja Hussein memang ketara sejak tahun 1952 khususnya dalam perkara-perkara berkaitan pertahanan Jordan, kenaikan pangkat pegawai-pegawai Arab dan juga masalah pembiayaan Legion Arab. Walaupun dilucutkan tauliah, John Glubb kekal menjadi sahabat karib Raja Hussein. John Glubb menghabiskan hidupnya menulis mengenai pengalamannya di bumi Arab dan Timur Tengah.